\chapter{Teoretický úvod}
\label{chap:teoretickyUvod}
\section{Stavová zpětná vazba}
\subsection{Struktury řízení}
 Mějme lineární časově invariantní diferenciální dynamický systém popsaný rovnicemi
\begin{align}
\dot{x}(t) &=Ax(t)+Bu(t) \,,\nonumber\\
y   (t)    &=Cx(t)+Du(t)\,, 
\label{eq:dynamical_system}
\end{align}
kde $A \in \mathbb{R}^{n \times n}$, $B\in \mathbb{R}^{n\times m}$, $C\in \mathbb{R}^{p \times n}$ a $D \in \mathbb{R}^{p \times m}$; $x(t) \in \mathbb{R}^n$ označuje stav systému, $u(t) \in \mathbb{R}^m$ je vstup do systému a $y(t) \in \mathbb{R}^p$ je výstup systému.

K~řízení tohoto systému lze použít dvě základní struktury.
\begin{description}
\item[Přímá vazba (feedforward, open-loop control)]
V~sérii před systémem je zapojen \\kompenzátor (systém), který mění dynamické vlastnosti otevřené smyčky. Jedná se o~velmi jednoduchou strukturu, která je ovšem velice náchylná na sebemenší chyby v~modelu systému a vnější poruchy. Další její nevýhodou je fakt, že nedokáže stabilizovat nestabilní systém.
\item[Zpětná vazba (feedback, closed-loop control)]
Oproti předchozí struktuře se jedná o~vyšší stupeň řízení, kdy je využívána informace o~aktuální hodnotě výstupu $y(t)$ příp. stavu $x(t)$  k~výpočtu vstupu $u(t)$. Vyšší složitost a cena této struktury naopak přináší schopnost do jisté míry kompenzovat poruchy a neurčitosti modelu systému. Navíc lze pomocí zpětné vazby stabilizovat i nestabilní systémy.
\end{description}

V~našem textu se budeme zabývat výhradně zpětnou vazbou využívající informaci o~stavu $x(t)$, tedy {\it stavovou zpětnou vazbou}. V~případě, že lze měřit pouze hodnoty výstupu $y(t)$, musíme sestrojit pozorovatel stavu, jehož výstupem je odhad stavů systému.
\begin{definition}[Zákon řízení]\label{def:controllaw}
Pro systém \eqref{eq:dynamical_system} je zákon řízení formulován jako
\begin{equation}
u(t) = Fx(t) + r(t)\,,
\label{eq:control_law}
\end{equation}
kde $F \in \mathbb{R}^{m \times n}$ je matice zesílení a $r(t)\in \mathbb{R}^m$ je externí vstup.
\end{definition}
Výsledný systém se stavovou zpětnou vazbou popsaný rovnicemi \eqref{eq:state_feedback} je na obrázku \ref{fig:state_feedback}.  Linearita se i po zapojení zpětné vazby zachovala.
\begin{align}
\dot{x}(t) &=(A+BF)x(t) + B r(t)\,,\nonumber\\
y(t)       &=(C+DF)x(t)+Dr(t)\,.
\label{eq:state_feedback}
\end{align}

\begin{figure}[htp]
\centering
\includegraphics[scale=0.535]{images/stateFeedbackWithReference.pdf}
\caption{Lineární stavová zpětná vazba}\label{fig:state_feedback}
\end{figure}
Matice zpětné vazby $F$ pozměnila  chování uzavřené smyčky, došlo k~posunutí pólů a také ke změně výstupní matice systému.

\subsection{Umístění pólů stavovou zpětnou vazbou}
Dále se budeme zabývat problémem, jak navrhnout stavovou zpětnou vazbu \eqref{eq:control_law} tak, aby výsledný zpětnovazební systém
měl požadovanou sadu pólů resp. aby matice $A+BF$ měla požadovaná vlastní čísla. Nová sada pólů je obvykle asymptoticky stabilní ($\real{\lambda_i} < 0,\, i=1 \ldots n $, kde $\lambda_i$ jsou vlastní čísla matice $A+BF$). Bez újmy na obecnosti nebudeme uvažovat externí vstup $r(t)$ a omezíme se  na analýzu systému
\begin{equation}
\dot{x}(t) = (A+BF)x(t)\,.
\label{eq:feedback_system_dynamic}
\end{equation}
\begin{theorem} 
Mějme matice $A \in \mathbb{R}^{n \times n}$ a $B \in \mathbb{R}^{m\times n}$, potom existuje matice $F \in \mathbb{R}^{m \times n}$ taková, že $n$ vlastních čísel matice $A+BF$ bude nabývat libovolných reálných nebo komplexně sdružených hodnot tehdy a jen tehdy, když je systém $\dot{x}(t) = Ax(t)+Bu(t)$  řiditelný.
\end{theorem}
\begin{proof}
\textit{Nutná podmínka:}
Větu dokážeme sporem. Předpokládejme, že $n$ vlastních čísel matice $A+BF$ je libovolně rozmístěno a zároveň, že systém $\dot{x}(t)=Ax(t)+Bu(t)$ není plně řiditelný. Pro tento systém musí existovat podobnostní transformace, která jej převede do kanonického tvaru neřiditelného systému (viz. \citep[Sekce~6.2.1]{linearSystemsPrimer}), kde je řiditelná a neřiditelná část jednoznačně oddělena. Transformaci realizujeme pomocí regulární matice $Q$ 
\begin{align}
Q^{-1}(A+BF)Q  &=Q^{-1}AQ + (Q^{-1}B)(FQ)\,,\nonumber \\ &= \begin{bmatrix} A_1 & A_{12} \\ 0 & A_2 \end{bmatrix} + \begin{bmatrix} B_1 \\ 0\end{bmatrix}\begin{bmatrix}F_1 & F_2\end{bmatrix}\,, \nonumber\\
	&=\begin{bmatrix}A_1 +B_1F_1 & A_{12}+B_1F_2 \\ 0 & A_2\end{bmatrix}\,.
	\end{align}
Zde jsme uvažovali, že $FQ \triangleq \begin{bmatrix}F_1 & F_2\end{bmatrix}$. Transformace nijak neovlivní vlastní čísla matice $A+BF$ \citep[Věta 6.4]{krajnik}. Řiditelná část je dána dvojicí $(A_1, B_1)$, neřiditelná maticí $A_2$. Je zřejmé, že matice stavové zpětné vazby $F$ posune pouze řiditelná vlastní čísla, zatímco neřiditelná zůstanou na původním místě. To je ovšem ve sporu s~předpoklady. Systém $\dot{x}(t) = Ax(t)+Bu(t)$ musí být tedy plně řiditelný -- matice $A_2$ potom zanikne.

\textit{Postačující podmínka:}
Nechť dvojice $(A,B)$ je plně řiditelná. Potom pomocí některého z~níže uvedených algoritmů lze libovolně umístit vlastní čísla matice $A+BF$.
\end{proof}

Skutečnost, že dokážeme stavovou zpětnou vazbou posunout řiditelné póly do libovolné polohy  neznamená, že měníme póly systému $\dot{x}(t) = Ax(t)+Bu(t)$ (to ani není fyzikálně realizovatelné). Póly původního systému zůstanou stejné. Pouze zapojením zpětné vazby přivedeme do systému takový vstup $u(t)$, který způsobí chování determinované póly uzavřené smyčky (vlastními čísly matice $A+BF$).

Metody určování matice stavové zpětné vazby $F$ se zejména liší ve výpočetní náročnosti, ale také v~tom, zda řeší daný problém u~systému s~jedním vstupem ($m=1$) nebo s~více vstupy ($m\geq 2$). Z~jednotlivých metod lze zmínit následující.
\begin{description}
\item[Přímá metoda]  Matici $F$ volíme tak, aby charakteristický polynom uzavřené smyčky $\det \left( sI - (A+BF)\right)$ odpovídal požadovanému polynomu $\alpha_d (s)$. Obecně vede řešení na soustavu nelineárních rovnic. Tato soustava je  v~případě $m=1$ lineární.
\item[Pomocí tvaru řiditelnosti]

Podobnostní transformací $P$ lze řiditelnou dvojici $(A,B)$ převést do tvaru řiditelnosti. 
\begin{align}
A_c &= PAP^{-1}\,, \nonumber\\ B_c &= PB\,,\nonumber \\
A_{cF} &= P(A+BF)P^{-1} = PAP^{-1} + PBFP^{-1}\,, \nonumber\\
 &= A_c +B_cF_c \nonumber \,. 
\end{align}

Poté pomocí indexů řiditelnosti $\mu_i$ a jejich částečného součtu $\sigma_j=\sum_{i=1}^j \mu_i,\,j=1, \ldots m$ definujeme matice $B_m \in \mathbb{R}^{m\times m}$, $A_{dm} \in \mathbb{R}^{m \times n}$ a $A_m \in \mathbb{R}^{m\times n}$, které postupně obsahují  $\sigma_j$-té řádky matic $B_c$, $A_d$ a $A_c$. Matici $A_d$ přitom volíme tak, aby její charakteristický polynom odpovídal požadovanému tvaru $\alpha_d(s)$. Matici stavové zpětné vazby potom získáme z~následujících vztahů
\citep[Sekce 9.2.2]{linearSystemsPrimer}
\begin{align}
F_c &=B_m^{-1} \left(A_{dm}-A_m\right)\,,\nonumber\\
F   &=F_cP\,.  \nonumber
\end{align}
\item[Ackermannovo pravidlo]
Výsledkem této metody je jeden vztah, který ovšem zahrnuje všechny kroky uvedené v~předchozím bodě. Postup lze použít pouze pro systémy s~jedním vstupem \citep[Sekce 9.2.2]{linearSystemsPrimer}
\begin{equation*}
F = -e_n^{\rm T}\mathcal{C}^{-1}\alpha_d(A)\,,\nonumber
\end{equation*}
kde $e_n \in \mathbb{R}^{n \times 1}$, $e_n^{\rm T} = \begin{bmatrix} 0 &0 &\ldots & 1\end{bmatrix}$, $\mathcal{C}= \begin{bmatrix} B & AB & \ldots &A^{n-1}B\end{bmatrix}$ je matice řiditelnosti.

\end{description}

Jinou metodou umísťování pólů uzavřené smyčky je formulace úlohy jako problém optimálního řízení. O~této problematice bude pojednáno v~následující sekci.

\section{Kvadraticky optimální řízení}

Uvažujme nyní opět lineární časově invariantní dynamický systém
\begin{equation}
\dot{x}(t) = Ax(t)+Bu(t)\,,
\label{eq:dyn_syst_LQ}
\end{equation}
	Pro tento systém budeme hledat takové řízení, které bude pro  počáteční stav $x(0)=x_0$ minimalizovat {\it kvadratické kritérium}. Nejprve budeme analyzovat řešení na konečném horizontu optimalizace $t\in [0,\mbox{ } \tau]$, poté horizont optimalizace prodloužíme do nekonečna $\tau \rightarrow \infty$. Uvažujme tedy následující kvadratické kritérium
\begin{equation}
J  = \frac{1}{2} x^{\rm T}(\tau)Sx(\tau) + \frac{1}{2}\int_0^{\tau} x^{\rm T}(t)Qx(t) + u^{\rm T}(t)Ru(t) {\rm d}t,
\label{eq:funkcional}
\end{equation}
	kde $Q \in \mathbb{R}^{n\times n}\text{ a } S\in \mathbb{ R}^{n\times n}$ jsou konstantní symetrické pozitivně semidefinitní matice vyjadřující váhu průběžných a koncových stavů. $R \in \mathbb{R}^{m\times m}$ uvažujeme jako konstantní symetrickou pozitivně definitní matici vyjadřující váhu vstupů.  Tento optimalizační problém budeme řešit pomocí variačního počtu. Cílem bude tedy minimalizovat funkcionál \eqref{eq:funkcional} s~respektováním omezení ve tvaru rovnosti  \eqref{eq:dyn_syst_LQ}. Proto zavedeme \textit{Lagrangeův vektor} $\lambda(t)$ vyjadřující tato omezení.
 Dostáváme rozšířený funkcionál
\begin{align}
J'= \frac{1}{2} x^{\rm T}(\tau)Sx(\tau)  +\int_0^\tau & \bigg( \frac{1}{2}\left(x^{\rm T}(t)Qx(t) + u^{\rm T}(t)Ru(t)\right) + \nonumber\\&~~~+ \lambda(t)^{\rm T}\left(Ax(t)+Bu(t)-\dot{x}(t)\right) \bigg){\rm d}t\,. \label{eq:bolzova_uloha}
\end{align}
  Rovnice \eqref{eq:bolzova_uloha}  popisuje Bolzovou úlohou variačního počtu (v~kritériu se objevuje i váha koncového stavu). Pro další řešení převedeme problém na Lagrangeovu úlohu zavedením váhy koncového stavu dovnitř integrálu. Pro vyšší srozumitelnost budeme v~několika dalších rovnicích používat stručný zápis, kdy nebude u~vektorů $x(t)$, $\lambda (t)$ a dalších explicitně vyjádřena časová závislost. 
\begin{align}
{ J'}&=\int_0^\tau \frac{1}{2}\left( x^{\rm T}Qx + u^{\rm T}Ru\right) + \lambda^{\rm T}\left(Ax+Bu-\dot{x}\right) +x^{\rm T}S\dot{x} {\rm d}t\,,\nonumber\\
&=\int_0^\tau \mathcal{L}(x,\dot{x}, u,\lambda ) {\rm d}t\,.
\end{align}
 ${\mathcal L}(x,\dot{x}, u,\lambda ) $ nazýváme  -- \textit{Lagrangián} nebo také jádro funkcionálu.  
Pomocí Lagrangiánu zavedeme  nyní \textit{Hamiltonovu funkci} $\mathcal{H}$ a konjugovaný vektor k~vektoru $x$, označme jej $p$. 
\begin{align}
p (x,\dot{x}, u,\lambda )&= \left( \frac{\partial \mathcal{L}(x,\dot{x}, u,\lambda )}{\partial \dot{x}} \right)^{\rm T},
\nonumber \\
p(x,\lambda )  &= -\lambda + Sx\,,\\
{\cal H} (x,u, \lambda)&= -{\cal L}(x,u,\lambda,t) + p^{\rm T}\dot{x}\,,\nonumber \\
{\cal H}(x,u, \lambda) &=-\frac{1}{2}(x^{\rm T}Qx+u^{\rm T}Ru) - \lambda^{\rm T}(Ax+Bu)\,.
\end{align}

Cílem zavádění dalších funkcí a vektorů je zjednodušování výpočtu. Pomocí Hamiltonovy funkce a konjugovaného vektoru lze velmi jednoduše získat Hamiltonovu nebo také kanonickou formu Eulerovy-Lagrangeovy rovnice pomocí  vztahů \citep[Sekce 7.5]{ORR}

\begin{align}
\frac{{\rm d} p}{{\rm d}t} &= - \left(\frac{\partial {\cal H}}{\partial x}\right)^{\rm T},\nonumber \\
\frac{{\rm d} x}{{\rm d}t} &=  \left(\frac{\partial {\cal H}}{\partial p}\right)^{\rm T},\nonumber \\
0 &=  \left(\frac{\partial {\cal H}}{\partial u}\right)^{\rm T}.\nonumber 
\end{align}
Derivováním Hamiltoniánu a následnou krátkou úpravou dostáváme  rovnice
\begin{align}
\dot{\lambda}(t) &= -Qx(t) - A^{\rm T}\lambda(t)\,, \label{eq:rovnice_adj_systemu}\\\
\dot{x}(t)&= Ax(t)+Bu(t)\,,\label{eq:rovnice_systemu}\\
0 &= Ru(t) + B^{\rm T}\lambda(t) \,.\label{eq:rovnice_opt_vstup}
\end{align}
	Získali jsme tři rovnice. Rovnice \eqref{eq:rovnice_adj_systemu} popisuje vývoj adjungovaného systému; jeho  stavovým vektorem je $\lambda(t)$ nazývaný též {\it kostav} \citep[Sekce 2.2]{MTR}. Rovnice \eqref{eq:rovnice_systemu} je nijak nepozměněná rovnice původního systému. Tyto dvě rovnice lze převést do maticového zápisu nazývaného {\it Hamiltonovský  systém} (viz obrázek \ref{fig:LQsystem}), matici koeficientů $H$ nazýváme {\it Hamiltonova matice}.
\begin{equation}
\begin{bmatrix}
\dot{x}(t) \\ \dot{\lambda}(t)
\end{bmatrix} = \begin{bmatrix}
 A~& -BR^{-1}B^{\rm T} \\
 -Q & -A^{\rm T}
\end{bmatrix}
\begin{bmatrix}
{x}(t) \\ {\lambda}(t)
\end{bmatrix} 
= H
\begin{bmatrix}
{x}(t) \\ {\lambda}(t)
\end{bmatrix}. 
\label{eq:hamilton_system}
\end{equation}
Poslední rovnice \eqref{eq:rovnice_opt_vstup} popisuje optimální vstup do systému
\begin{equation}
u(t) = -R^{-1}B^{\rm T}\lambda(t)\,.
\end{equation} 

\begin{figure}[htp]
\centering
%\includegraphics[scale=0.535]{images/celyLQSystem.pdf}
\includegraphics[scale=0.59]{images/hamiltonovskySystem.pdf}
\caption{Hamiltonovský systém}\label{fig:LQsystem}
\end{figure}



Optimální vstup do systému je vyjádřen pomocí kostavu. Jeho hodnotu sice nemůžeme nijak měřit, ale získáme ji pomocí řešení soustavy diferenciálních rovnic \eqref{eq:hamilton_system}. K~jejímu řešení potřebujeme znát $2n$ okrajových podmínek (dimenze stavu $x(t)$ i kostavu $\lambda (t)$ je $n$). Zadané počáteční podmínky $x(0) = x_0$ nám dávají prvních $n$ podmínek. Zbylých $n$ získáme pomocí  podmínek transverzality pro volný koncový bod
\begin{equation*}
-{\cal H} \delta t + p^{\rm T}\delta x = 0\quad \text{pro}\quad t=\tau\,.
\end{equation*}
V~našem případě máme pevný časový konec $\delta t=0$, zatímco stav $x(\tau)$ je volný (variace $\delta x |_{t=\tau}$ je nenulová). Čili dostáváme dalších $n$ okrajových podmínek
\begin{align}
p^{\rm T}\vert_{t=\tau} &= -\lambda(t) + Sx(t)\vert_{t=\tau}=0 \,, \nonumber\\
\lambda(\tau) &= Sx(\tau) \,.\label{eq:koncova_podminka}
\end{align}
Rovnice \eqref{eq:koncova_podminka} nám přímo nedává hodnotu $x(\tau)$ nebo $\lambda(\tau)$, ale pouze ukazuje na lineární závislost mezi stavem a kostavem v~koncovém okamžiku. Využijme tuto informaci k~předpokladu, že lineární závislost mezi $x(t)$ a $\lambda(t)$ platí pro každý okamžik na $[0, \mbox{ } \tau]$. Uvažujme tedy neznámou maticovou funkci $P(t)$
\begin{equation}
\lambda(t) = P(t) x(t)\,.
\end{equation}
Pro ověření uvedených předpokladů budeme derivovat předchozí vztah a dále dosadíme všechny známé proměnné.
\begin{align}
\dot{\lambda}(t) &=\dot{P}(t)x(t) + P(t)\dot{x}(t)\,,\nonumber\\
-Qx(t) -A^{\rm T}\lambda(t) &=\dot{P}(t)x(t) + P(t) \left( Ax(t) + BR^{-1}B^{\rm T}\lambda(t)\right)\,,\nonumber\\
-\left( Q -A^{\rm T}P(t)\right)x(t) &=\left(\dot{P}(t) + P(t) A~+ P(t)BR^{-1}B^{\rm T} P(t)\right) x(t)\,.\label{eq:riccati_eq_s_x}
\end{align}
	Rovnice \eqref{eq:riccati_eq_s_x} zřejmě platí pro libovolný stav $x(t)$ na horizontu optimalizace; naše předpoklady byly tedy splněny  a vyloučením $x(t)$ dostáváme \textit{Riccatiho rovnici}
\begin{equation}
-\dot{P}(t) = A^{\rm T}P(t) + P(t)A - P(t)BR^{-1}B^{\rm T}P(t) + Q\,.
\label{eq:riccatka}
\end{equation}
Jedná se o~maticovou diferenciální rovnici s~koncovou podmínkou $P(\tau) = S$.
Vyřešením této rovnice se zbavíme závislosti optimálního řízení na kostavu
\begin{equation}
u(t) = -R^{-1}B^{\rm T}P(t)x(t)\,.
\label{eq:zakonRizeniVariantni}
\end{equation}
Rovnice \eqref{eq:zakonRizeniVariantni} popisuje časově proměnnou stavovou zpětnou vazbu. Jestliže definujeme
\begin{equation}
F(t)\triangleq -R^{-1}B^{\rm T}P(t)\,,
\end{equation}
pak pro optimální vstup do systému dostáváme
\begin{equation}
u(t) = F(t)x(t)\,.
\label{eq:zakonRizeniVariantnishort}
\end{equation}


Časově proměnná zpětná vazba jednak komplikuje implementaci regulátoru, ale také způsobí, že výsledný zpětnovazební obvod je  časově proměnný
\begin{equation}
{\dot{x}(t)} = ( A+BF(t)) x(t)\,.
\label{eq:feedback_tv}
\end{equation}
Naším cílem ovšem je navrhnout statickou, snadno realizovatelnou, zpětnou vazbu od stavu, která bude v~jistém smyslu optimální. Ukazuje se, že při prodlužování horizontu optimalizace do nekonečna ($\tau\rightarrow \infty$) je řešení Riccatiho rovnice\footnote{Riccatiho rovnice se řeší od času $\tau$ směrem k~$t=0$. Známe totiž jen koncovou podmínku $P(\tau)=S$. Od této hodnoty se potom odvíjí řešení.} buď neomezené, nebo konverguje k~pozitivně semidefinitní matici. Předpokládejme, že řešení konverguje. Potom pro $t \ll \tau$ je derivace $\dot{P}(t) = 0$, to se projeví v~Riccatiho rovnici \eqref{eq:riccatka} změnou této rovnice na algebraickou nazývanou \textit{algebraická Riccatiho rovnice (ARE)} 
\begin{equation}
0 = A^{\rm T}P + PA -PBR^{-1}B^{\rm T}P + Q\,.
\label{eq:ARE}
\end{equation}
$P$ v~tomto případě není funkcí času. V~dalším textu budeme značit řešení ARE pomocí $P$, zatímco řešení Riccatiho rovnice \eqref{eq:riccatka}  $P(t)$ (vždy se zmíněnou závislostí na čase).  Kritérium, které této rovnici přísluší, bude vycházet z~původního kritéria pro konečný horizont a bude zřejmě
\begin{equation}
J_\infty =\frac{1}{2} \int_0^\infty x^{\rm T}(t)Qx(t) + u^{\rm T}(t)Ru(t) {\rm d}t\,.
\end{equation}
V~kritériu pro nekonečný horizont není důvod vážit koncový stav pomocí matice $S$, protože uvažujeme, že v~konečném čase bude systém převeden do rovnovážného stavu.
Optimální zákon řízení bude vycházet z~\eqref{eq:zakonRizeniVariantni} a bude ve tvaru
\begin{equation}
u(t) = -R^{-1}B^{\rm T}Px(t)\,.
\label{eq:controlLawInvariant}
\end{equation}
Algebraická Riccatiho rovnice může mít několik řešení (reálná, komplexní, pozitivně definitní, negativně definitní atp.), ale pokud řešení Riccatiho rovnice konverguje, pak se shoduje s~jedním z~řešení ARE.

Dále se budeme zabývat omezeností řešení Riccatiho rovnice a stabilitou uzavřené smyčky. Pro tyto potřeby zavedeme fiktivní výstup ze soustavy \eqref{eq:dyn_syst_LQ}
\begin{equation}
y(t) = \Gamma x(t), \quad \Gamma^{\rm T} \Gamma = Q\,.
\end{equation}
\begin{theorem}[Existence limitního řešení]
	Nechť je dvojice $(A,B)$ stabilizovatelná, potom řešení Riccatiho rovnice konverguje pro libovolné $S$.
        Navíc $P=P(t)|_{\tau-t\rightarrow \infty}$ je pozitivně semidefinitním řešením algebraické Riccatiho rovnice \eqref{eq:ARE}.
\end{theorem}
Souvislost konvergence řešení Riccatiho rovnice se stabilizovatelností systému je na snadě. Je-li nestabilní pól neřiditelný, pak také nemůže být stabilizován pomocí stavové zpětné vazby. Limitní hodnota kritéria bude pro některé volby počáteční podmínky $P(\tau)=S$ neomezená -- to nastane v~případě, kdy se nestabilní mód objeví v~kritériu. Podrobný důkaz v~\citep[Sekce 3.4]{LewisOptimalControl}.
\begin{theorem}[Stabilita uzavřené smyčky]
Nechť $\Gamma^{\rm T}\Gamma = Q \geq 0$. Předpokládejme, že dvojice $(A, \Gamma)$ je detekovatelná. Potom dvojice $(A,B)$ je stabilizovatelná tehdy a jen tehdy, když:
\begin{itemize}
\item Existuje jediné pozitivně semidefinitní limitní řešení Riccatiho rovnice $P(t)|_{\tau-t\rightarrow \infty}$. Navíc je toto řešení shodné s~řešením $P$ algebraické Riccatiho rovnice \eqref{eq:ARE}.
\item Zpětnovazební systém 
\begin{equation}
\dot{x}(t) = (A+BF)x(t), \quad F = -R^{-1}B^{\rm T}P
\label{eq:fiktivniSoustava}
\end{equation}
je asymptoticky stabilní.
\end{itemize}

\end{theorem}
Pro důkaz věty odkazujeme na \citep[Sekce 3.4]{LewisOptimalControl}.

 Tato věta zaručuje existenci zesílení, pro které je matice $A+BF$ asymptoticky stabilní.
	Je na místě zmínit definici řiditelnosti. Stav $x(0)$ je řiditelný právě tehdy, existuje-li řízení, které také převede daný stav v~konečném čase do počátku.  Přesně tuto činnost realizuje optimální řízení, které jsme získali předchozími výpočty. Navíc energie vynaložená na řízení je  konečná, protože hodnota kritéria je také konečná a zároveň $R$ je pozitivně definitní.
\begin{comment}
Aby byla dvojice $(A, \Gamma)$ vždy pozorovatelná, pak musí mít matice $\Gamma$ plnou hodnost -- tedy matice $Q$ musí být pozitivně definitní.
\end{comment}

Pokud není dvojice 
$(A, \Gamma)$
detekovatelná, pak existuje nepozorovatelný mód soustavy \eqref{eq:fiktivniSoustava}, který není asymptoticky stabilní. Tento mód se poté   stejným způsobem projeví  i ve výsledném zpětnovazebním systému $A+BF$. Kritérium bude konečné, ale zpětnovazební systém nebude asymptoticky stabilní. 
\begin{comment}
	Naopak jsou-li  všechny nepozorovatelné módy asymptoticky stabilní, pak i zpětnovazební systém bude také asymptoticky stabilní. V~takovém případě bude limitní řešení Riccatiho rovnice jen pozitivně semidefinitní. Pro stabilitu $A+BF$ nám tedy stačí pouze detekovatelnost dvojice $(A, \Gamma)$.
\end{comment}

\subsection{Analytické řešení Riccatiho rovnice}

Doposud jsme uvažovali, že řešení Riccatiho rovnice známe a z~tohoto předpokladu dělali závěry. Jak toto řešení získat jinak než přímým výpočtem maticové diferenciální rovnice? K~řešení $P(t)$ se dá dobrat i pomocí vlastních čísel a vlastních vektorů Hamiltonovy matice~$H$. \begin{equation}
H = \begin{bmatrix}
 A~& -BR^{-1}B^{\rm T} \\
 -Q & -A^{\rm T}
	\end{bmatrix}.
\label{eq:hamilton_matrix}
\end{equation}
K~odvození budeme potřebovat dokázat, že vlastní čísla této matice jsou symetrická vůči imaginární ose.


\begin{theorem}[Symetrie vlastních čísel] Je-li $\lambda$ jedním z vlastních čísel Hamiltonovy matice \eqref{eq:hamilton_matrix}, potom je také $-\lambda$ vlastním číslem této matice.
\end{theorem}
\begin{proof}
Předpokládejme, že k~danému $\lambda$ máme vlastní vektor $v$ splňující rovnici 
\begin{equation*}
Hv = \lambda v\,. \label{eq:eiqenvector}\end{equation*} Dále definujme následující matici
\begin{align*}
J &\triangleq \begin{bmatrix}
0 & I_{n} \\
-I_n &0
\end{bmatrix}, & J^{-1}& = -J\,.
\end{align*}
Pro tuto matici lze přímým výpočtem ukázat, že platí $H = JH^{\rm T}J$. Rozepsáním  vztahů získáme
\begin{align}
JH^{\rm T}J v~&= \lambda v\,,\nonumber\\
H^{\rm T}J v~&= \lambda J^{-1}v\,,\nonumber \\
(Jv)^{\rm T}H &= -\lambda (Jv)^{\rm T}\,.\nonumber
\end{align}
Dostáváme levý vlastní vektor matice $H$ ve tvaru $(Jv)$, k~němu potom přísluší vlastní číslo~$-\lambda$.
\end{proof}

Pomocí regulární matice $W$ lze převést Hamiltonovu matici do Jordanova kanonického tvaru. Díky symetrii vlastních čísel dostáváme tvar
\begin{equation}
D = W^{-1}HW, \quad D = \begin{bmatrix} -M & 0 \\ 0 & M \end{bmatrix},
\end{equation}
 kde $M$ je diagonální matice obsahující nestabilní vlastní čísla (v~otevřené pravé komplexní polorovině). Předpokládejme, že $W$ rozdělíme na čtyři bloky 
\begin{equation}
W \triangleq \begin{bmatrix}
W_{11} & W_{12} \\ W_{21} & W_{22}
\end{bmatrix}.
\end{equation}
Hamiltonovský systém převedeme do Jordanova tvaru
\begin{align}
\begin{bmatrix} \dot{x}(t) \\ \dot{\lambda}(t)\end{bmatrix}&= H \begin{bmatrix} {x}(t) \\ {\lambda}(t)\end{bmatrix} = WDW^{-1}\begin{bmatrix} {x}(t) \\ {\lambda}(t)\end{bmatrix},\\
\begin{bmatrix} \dot{w}(t) \\ \dot{z}(t)\end{bmatrix}&= D \begin{bmatrix} {w}(t) \\ {z}(t)\end{bmatrix} =
\begin{bmatrix} -M & 0 \\ 0 & M \end{bmatrix}
\begin{bmatrix} {w}(t) \\ {z}(t)\end{bmatrix}, \label{eq:transformovany_hamilton}
\end{align}
kde pro transformované stavy platí $
\left[ \begin{smallmatrix} {w}(t) \\ {z}(t)\end{smallmatrix}\right] = W^{-1} \left[ \begin{smallmatrix} {x}(t) \\ {\lambda}(t)\end{smallmatrix}\right]
$.
Rovnici \eqref{eq:transformovany_hamilton} vyřešíme za předpokladu, že známe koncovou podmínku $w(\tau)$ a $z(\tau)$
\begin{equation}
\begin{bmatrix} {w}(t) \\ {z}(t)\end{bmatrix}=
\begin{bmatrix} e^{M(\tau-t)} & 0 \\ 0 & e^{-M(\tau -t)} \end{bmatrix}
\begin{bmatrix} {w}(\tau) \\ {z}(\tau)\end{bmatrix}
.\label{eq:vyjadreniZKoncovePodminky}
\end{equation}
Nyní z~koncové podmínky \eqref{eq:koncova_podminka} plyne
\begin{align} 
\lambda(\tau) &= S~x(\tau)\,,\nonumber \\
W_{21}w(\tau) + W_{22}z(\tau) &= S(W_{11}w(\tau) W_{12} z(\tau))\,,\nonumber\\
z~(\tau) &= (W_{22} - SW_{12})^{-1}(W_{21} + S~W_{11})w(\tau)\,, \nonumber \\
z(\tau) &=Tw(\tau)\,.
\label{eq:vztahZtauWtau}
\end{align}
	Tento mezivýsledek se dal očekávat. Pokud existovala lineární závislost mezi stavy $x(\tau)$ a $\lambda(\tau)$, potom musí existovat i mezi transformovanými stavy $w(\tau)$ a $z(\tau)$. Kombinací rovnic \eqref{eq:vyjadreniZKoncovePodminky} a \eqref{eq:vztahZtauWtau} dostaneme postupně analytické vyjádření pro řešení Riccatiho rovnice
\begin{align}
z(t) &= e^{-M(\tau-t)}z(\tau)= e^{-M(\tau-t)} Tw(\tau) = e^{-M(\tau-t)}Te^{-M(\tau-t)}w(t) \,,\nonumber \\
V(t)&= e^{-M(\tau-t)}Te^{-M(\tau-t)}, \quad \Rightarrow \quad z(t)=V(t)w(t)\,.
 \end{align}
\begin{align}
W_{21}w(t) + W_{22}z(t) &= P(t)(W_{11}w(t) + W_{12}z(t)) \,,\nonumber\\
W_{21}w(t) + W_{22}V(t)w(t) &= P(t)(W_{11}w(t) + W_{12}V(t)w(t))\,,\nonumber\\
P(t) &= (W_{21} + W_{22}V(t))(W_{11}+W_{12}V(t))^{-1}\,.\label{eq:analytickyReseniRiccatihoRovnice}
\end{align}
Analytické řešení Riccatiho rovnice se dá rozdělit na dvě části. První je složena ze stabilních vlastních vektorů Hamiltonovy matice ($W_{11}$ a $W_{21}$). Tato složka je časově nezávislá. Druhá část, které je vyjádřena pomocí nestabilních vlastních vektorů $H$, je naopak časově závislá a navíc vychází z~matice $S$ (váhy koncového stavu). V~limitním případě $\tau-t\rightarrow \infty$ existuje pozitivně semidefinitní řešení $P(t)|_{\tau-t\rightarrow \infty}$ tehdy, když dvojice $(A,B)$ je stabilizovatelná a dvojice $(A,\Gamma) \mbox{ kde } \Gamma^{\rm T}\Gamma = Q$  je detekovatelná. Potom také $V(t)\rightarrow 0$. Z~toho plyne rovnice pro limitní řešení Riccatiho rovnice (řešení ARE), které je tvořeno pouze stabilními vlastními vektory Hamiltonovy matice.
\begin{equation}
P= P(t)|_{\tau-t\rightarrow \infty} = W_{21}W_{11}^{-1}\,.
\label{eq:analytickeReseniARE}
\end{equation}

\subsection{Poloha pólů uzavřené smyčky}
	Nyní budeme řešit problém, kam se posunou póly uzavřené smyčky, pokud zavedeme zpětnou vazbu získanou řešením ARE. Předpoklady k~získání řešení nechť jsou stejné jako v~předchozím odstavci. 


Podobně jako v~předchozím oddíle zde využijeme Jordanův tvar Hamiltonovy matice
\begin{equation}
H = WDW^{-1}, \quad W = 
 \begin{bmatrix}
W_{11} & W_{12} \\ W_{21} & W_{22}
\end{bmatrix} 
,\quad D = \begin{bmatrix}
-M & 0 \\
0  & M \end{bmatrix}
.
\end{equation}
Rozepsáním předchozí rovnice dostáváme
\begin{equation}
H 
 \begin{bmatrix}
W_{11} & W_{12} \\ W_{21} & W_{22}
\end{bmatrix} =
 \begin{bmatrix}
W_{11} & W_{12} \\ W_{21} & W_{22}
\end{bmatrix} \begin{bmatrix}
-M & 0 \\
0  & M \end{bmatrix}
,
\end{equation}
\begin{equation}
  \begin{pmat}[{|}]
A~W_{11} - BR^{-1}B^{\rm T}W_{21}  & A~W_{12} - BR^{-1}B^{\rm T}W_{22}\cr\-
-QW_{11} - A^{\rm T}W_{21} & -QW_{12} - A^{\rm T}W_{22} \cr
\end{pmat} = 
\begin{pmat}[{|}]
-W_{11}M & W_{12}M\cr\-
-W_{21}M & W_{22}M\cr
\end{pmat}.
\end{equation}
Levé horní bloky obou matic dále využijeme 
\begin{align}
A~W_{11} - BR^{-1}B^{\rm T}W_{21}  &= -W_{11}M\,,\nonumber\\
A~- BR^{-1}B^{\rm T}W_{21}W_{11}^{-1} &= -W_{11}M W_{11}^{-1}\,,\nonumber\\
A~- BR^{-1}B^{\rm T}P &=   -W_{11}M W_{11}^{-1}\,.\label{eq:polohaPolu}
\end{align}
V~rovnici \eqref{eq:polohaPolu} jsme získali matici uzavřené smyčky. Ukazuje se, že její Jordanův kanonický tvar je přímo matice $-M$, tedy její vlastní čísla jsou stabilní vlastní čísla Hamiltonovy matice.   
\subsection{Dvojí význam Hamiltoniánu}
V~předchozím textu se hojně objevovaly názvy nesoucí jméno irského matematika sira  Williama Rowana Hamiltona. Souvisí nějak tyto názvy s~pojmy, které  v~19. století zavedl do  fyziky Hamilton? Je Hamiltonián ve fyzice a v~dynamických optimalizacích tím samým? Pokusíme se objasnit tento problém, neboť pojmy nesoucí v~názvu Hamilton budeme v~této práci využívat.

Pro uzavřený systém, kde nedochází k~disipaci energie je součet kinetické a potenciální energie popsán sadou diferenciálních rovnic -- {\it Hamiltonovské rovnice systému} \citep{kulhanek}. 
\begin{equation*}
\dot{p} = - \left( \frac{\partial {\cal H}}{\partial x} \right)^{\rm T} , \quad 
\dot{x} = - \left( \frac{\partial {\cal H}}{\partial p} \right)^{\rm T} ,
\label{eq:hamiltonovyRovnice}
\end{equation*}
kde $\cal H$ je Hamiltonián, $x$ zobecněný vektor polohy a $p$ zobecněná hybnost. Hamiltonián zde vyjadřuje energii v~daném fyzikálním systému. Tato funkce je v~průběhu času konstantní protože nedochází k~disipaci energie
\[
\frac{{\rm d} {\cal H}} {{\rm d} t} = 0\,.
\]
	Porovnáním těchto rovnic s~rovnicemi použitými k~odvození optimálního řízení  zjistíme, že tyto rovnice jsou si velice podobné.

 Zobecněný vektor polohy odpovídá stavu systému; to není nic neočekávaného. Stav systému si totiž můžeme představit jako polohu v~$n$ dimenzionálním prostoru. Navíc u~fyzikálních systémů s~$r$ stupni volnosti je třeba popsat polohu pomocí nejméně $r$ souřadnic. Tedy i u~dimenze prostoru je ekvivalence na místě. 

U~zobecněné hybnosti $p$ není situace natolik zřejmá jako v~předešlém případě. Kontrola jednotek nám napoví, zdali i v~případě dynamických optimalizací můžeme považovat $p$ za hybnost. Při odvození optimálního řízení jsme dostali Hamiltonián ve tvaru
\begin{equation*}
	{\cal H}(x(t),u(t), \lambda(t)) = -\frac{1}{2}(x^{\rm T}(t)Qx(t)+u^{\rm T}(t)Ru(t)) - \lambda^{\rm T}(t)(Ax(t)+Bu(t))\,.
\end{equation*}
O~Hamiltoniánu víme, že je to skalární funkce vyjadřující energii systému. Abychom  mohli posoudit, zda vyjadřuje energii i v~tomto případě, zkontrolujeme jednotky v~rovnici Hamiltonovského systému \eqref{eq:hamilton_system} a poté v~Hamiltoniánu za předpokladu, že 
\begin{equation*}
x \sim [\mbox{m}], \quad p \sim [\mbox{kg\,m}\, \mbox{s}^{-1} ]\,.
\end{equation*}
Aby jednotkově odpovídala rovnice Hamiltonovského systému, musí být
\begin{equation*}
A, B  \sim [\mbox{s}^{-1}], \quad Q,R \sim [\mbox{kg} \, \mbox{s}^{-2} ]\,.
\end{equation*}
Dosadíme-li tyto jednotky do rovnice Hamiltoniánu, pak skutečně vyjadřuje energii (v~našem případě dostaneme ${\cal H} \sim [\mbox{kg}\,\mbox{m}^2\, \mbox{s}^{-2}]$).


Není náhodou, že se zde zabýváme dvěma problémy, které stojí na stejném základu. Hamiltonovská formulace mechaniky vychází z~Hamiltonova principu nejmenší akce \citep[Sekce 1.2]{kulhanek} nebo \citep[Sekce 3.2]{LewisOptimalControl}, který zní:\uv{U konzervativních systémů se ze všech  možných trajektorií z~bodu $A$ do bodu $B$  v~přírodě realizuje pouze ta, pro kterou má integrál $J = \int_{t_1}^{t_2}{\cal L}(t,x(t),\dot{x}(t)) {\rm d}t$ minimální hodnotu.} ${\cal L}(t,x(t),\dot{x}(t))$ je v~tomto případě Lagrangián reprezentující rozdíl kinetické a potenciální energie. Tedy sama příroda realizuje proces optimalizace a k~tomu využívá energii, kterou má k~dispozici. V~problému optimálního řízení je situace trochu odlišná. Před řízením daného dynamického systému nevíme, jakou energii bude obsahovat uzavřená smyčka Hamiltonovského systému (viz rovnice \eqref{eq:hamilton_system} a obrázek \ref{fig:LQsystem}). Ale volbou váhových matic $Q$  a $R$ {\it přiřadíme} Hamiltonovskému systému takovou energii, aby se choval optimálně vzhledem k~danému kritériu. Tomu předchází vyřešení celého problému (výpočet $P(t)$ a $\lambda(0)$ ), teprve poté lze simulovat/spustit smyčku na obrázku \ref{fig:LQsystem}.

Závěrem tedy je, že u~problému optimálního řízení jsou rovnice stavu a kostavu zobecněním Hamiltonových pohybových rovnic.










%{\it Zpětná vazba} hraje významnou roli  v teorii řízení

%{\it Zpětná vazba} je mechanizmus, kdy výstup systému je použit k vytvoření vstupu do systému. Spojením výstupu a vstupu systému dostáváme uzavřenou smyčku. Pod pojmem {\it systém} v této souvislosti uvažujeme úplně obecnou definici, kdy za něj považujeme takovou část vesmíru, která komunikuje {\it signály} (nosiči informace) s okolím.
%	Systémy se zpětnou vazbou potom nalezneme na mnoha místech 
%\begin{itemize}
%\item Příroda -- biologické systémy (např. regulace v organismu člověka), meteorologie , model dravec-kořist (citace).
%\item Ekonomika a finanční sektor (např. operace na burze cenných papírů)
%\item Vzdělávání

%\end{itemize}

%V teorii řízení se setkáváme s dvěmi základními strukturami řízení.
%\begin{description} 
%\item[desc:feedforward] Přímá vazba 
%
%\item[desc:feedback] Zpětná vazba
%\end{description}

